Harness Engineering — Overview
Core Questions
- 什么能力属于模型、什么属于 harness、什么属于可积累的 context substrate;harness 编码的对模型限制的假设何时该删(见 What is an Agent Harness)。
- Agent 长时运行、并行协作、自我验证分别需要什么工程边界;什么信号说明长时程自主运行正在失败。
- 哪些安全和观测机制必须从 prompt 下沉到系统层(见 Trust Boundaries)。
Key Concepts
- Harness 是模型之外的完整执行壳层:Harness is Everything 记录同一模型不同 harness 性能差距可达 64%;Model-Harness-Fit 进一步主张 harness 已成为模型有效参数的一部分。
- 脚手架会随模型进化而拆除:定义页拆分 记录多位实践者共识——harness 是临时基础设施,Manus 六个月重写五次每次都在删复杂度;但删到什么程度、何时重写没有可操作判据。
- 循环与长时运行:Loop Engineering 拆分页覆盖循环谱系、意图债务/理解腐蚀风险与可量化目标循环;Long-Running Agent Harness 给出 planner/generator/evaluator 分离架构。
- 验证与信任边界:Self-Verification Loops 拆分页确立『验证器必须与生成器分离』『单元通过不等于功能可用』;Trust Boundary 拆分页给出默认只读、scoped 凭证与支付授权边界。
- 记忆与协调:Memory vs Context Substrate 拆分页指出两阵营二分是假象、真实系统全是混合体;Multi-Agent Coordination 拆分页提供并行成本冷数据(多智能体平均贵 1.8-5.1 倍而收益微弱)。
Main Tensions
- Harness 即一切的杠杆证据 vs『harness 是临时脚手架应持续删减』:两者同时成立——固定模型切换 harness 移动分数超过一代模型升级,但旧 harness 假设(如 context anxiety)会成为死代码拖累新模型。
- 多 agent 扩张的吸引力 vs 成本冷数据:协调成本膨胀与子 agent 数量阈值效应,和『五个 agent 各完成 70%』的全局节奏观形成真实权衡,判断线(何时值得、何时折回单循环)尚未沉淀。
- 自动化的复利 vs 负复利:Compound Engineering 拆分页明确回写须有证据阈值与撤销路径,没有确认门的学习永久化会沉淀成规则债务。
Current Judgments
- 以下为 AI 草稿判断,非个人背书:harness 设计对 agent 可靠性的杠杆作用独立于模型能力且有横评支撑(LangChain 仅改 harness 使排名从 30+ 升至第 5、模型不变);但各结论的具体倍数多为单一评测转述,量级不确定性高。
- 记忆系统的选择层(记什么、何时更新、事实如何被替代)比存储选型更决定成败——此判断在拆分页中反复收敛,但产品对比多为文档级比较而非受控实测,属中等置信。
- 评测正从公共基准转向组织账本(见 Evals as Ledger),评分器自身可被操纵(RL 预置原题、73 轮评分优化毁掉原目标),所以评分独立性必须显式设计。
To Read / To Verify
- Multi-Agent Coordination 的『何时折回单循环』结论多为单来源报告,需以自己的任务做折叠前后对比才能推广。
- Memory vs Context Substrate 的事件日志式第三种模式证据仍薄,需要生产数据。
- Extreme Harness Engineering 的 0% human review 边界条件,以及 OpenClaw 常驻 agent 模式的 token 零成本假设是否适用于个人场景。
- 各页拆分前原文归档在 claude-code 归档 与 harness-engineering 归档,核对拆分未丢失来源线索。
Output Directions
- 写『模型是常量,Harness 是变量』的解释稿,串联 64% 差距数据、LangChain 排名案例与脚手架消亡论。
- 产出一份『长时运行 harness 检查表』:状态层外置、运行预算、独立 evaluator、交接单、退出条件。
- 以『多 agent 何时值得』为题写一篇决策文,用成本冷数据对抗 agent 数量崇拜。